面向無菌醫(yī)療環(huán)境的物理三維建模與人機交互技術

所屬學院：人工智能研究院

合作方式：?整體轉讓 ?技術許可 ?作價入股 ?合作開發(fā) ?其它_____

成果簡介：

將醫(yī)院已建設各類信息系統(tǒng)進行整合，并且集成各類醫(yī)療設備，實現(xiàn)了患者診療信息的集中展示、傳輸、存儲與模擬。以合適的方式直觀的展示給術者，在手術室內(nèi)可以實時、便捷的獲取到與手術相關的信息，無論是術前的各類醫(yī)學影像、生化生理指標、電子病歷，還是實時生命體征監(jiān)測信息，又或是基于病人特殊病情所進行的實時物理模擬預測信息等，都可以根據(jù)需要靈活的可選擇的顯示在手術室內(nèi)的多塊顯示終端屏幕上，有利于術者做出正確的決定，從而提高手術的效率和安全性。而且，數(shù)字化手術室系統(tǒng)的多信息屏也能夠很好的解決手術助手醫(yī)師和手術護理人員的視角視野問題。將手術所需要的和手術過程中產(chǎn)生的大量數(shù)據(jù)集中展現(xiàn)在手術室，注重在手術室臨床信息系統(tǒng)和醫(yī)院其他信息系統(tǒng)的整合，結合醫(yī)院信息基礎設施環(huán)境而形成分布式、模塊化、實時性的數(shù)字化手術室平臺。將手術室醫(yī)療設備如機器人系統(tǒng)、手術導航系統(tǒng)、內(nèi)窺鏡系統(tǒng)、麻醉系統(tǒng)等有機集成，實現(xiàn)設備資源和信息資源高度共享，提供臨床手術所需要的完整信息。

成熟程度及推廣應用情況：

目前處于何種研發(fā)階段：?研發(fā) ?小試 ?中試 ?小批量生產(chǎn)?產(chǎn)業(yè)化；樣機：?有 ?無 其他：□如選擇“其他”，請說明：。

推廣應用情況：所開發(fā)技術成果已應用于西南醫(yī)院數(shù)字化無菌手術室構建。

技術優(yōu)勢：

傳統(tǒng)的手術中當醫(yī)生需要患者影像信息需要護士協(xié)助，而且影像是平面圖片、缺少重建圖像，無法展示如血管、神經(jīng)、周圍臨近器官的空間位置；該類影像信息亦無法實現(xiàn)對施術過程的模擬與量化評估，對于結構復雜的手術，往往不能起到指導作用。每臺手術在影響信息獲取分析環(huán)節(jié)總體需要耗時20分鐘-1小時不等?；颊呤中g時間延長會導致術中失血增多，臟器暴露時間長會增加感染，不利于患者的術后恢復，以及增加手術后并發(fā)癥的風險。此外手術室內(nèi)醫(yī)生和協(xié)助護士的溝通可能產(chǎn)生意圖錯誤傳遞的風險。項目創(chuàng)新性解決醫(yī)療手術室效率低下的問題,能大幅度降低了人力成本，提高醫(yī)生的效率與施術精準度，更重要的是為患者節(jié)約了時間、減少了各個環(huán)節(jié)的損耗時間，最大程度消除了無菌手術人員和非手術人員的交流障礙。

性能指標：

不同尺度群體及遮擋復雜場景的三維實時獲取及分析：主要針對復雜遮擋場景中人體級別的獲取與分析，在人體數(shù)量上直接采用數(shù)字精度進行對比，同時針對場景中最主要的用戶，采用Skeleton相關性準度表示，近距離（1.2m-2m）及中距離（2.0m-3.0m）尺度下，獲取數(shù)量及準確率達到80%。

醫(yī)療影像資料物理三維建模：利用圖像處理降噪算法處理醫(yī)學掃描圖像，進行平滑矯正處理，增強區(qū)域結構對比度；構建區(qū)域分割算法進行施術部位結構模式識別，確保分割區(qū)間準確性及組織描述完整性；設計物理三維重構算法，分析圖像各分割區(qū)域連通性及分布狀態(tài)，并基于各組織物質(zhì)特性構建動力學仿真模型，實時模擬手術過程統(tǒng)，實現(xiàn)醫(yī)學影像信息高維化。

市場分析：

對無菌手術環(huán)境下的智能語義識別與手術實時模擬可有效提升手術施術過程效率，本技術研制的面向無菌醫(yī)療環(huán)境的物理三維建模與人機交互算法，所形成計算機系統(tǒng)模型可形成技術專利與軟件著作，可以面向醫(yī)療器械研發(fā)單位進行技術對接，填補市場相關領域技術空白，有望培育出戰(zhàn)略性新興產(chǎn)業(yè)，具有潛在的經(jīng)濟效益，并將推進國內(nèi)計算機醫(yī)療輔助技術本土化、信息化、智能化、產(chǎn)業(yè)化發(fā)展，并對接移動互聯(lián)網(wǎng)、大數(shù)據(jù)、可穿戴、云計算等新一代信息領域，可促進國產(chǎn)醫(yī)療輔助性系統(tǒng)的創(chuàng)新鏈-產(chǎn)品鏈-服務鏈的形成。

經(jīng)濟效益分析：

本技術完成后將會形成一系列人機交互核心硬件設備和以云端為核心的軟件工具平臺，為我國人機交互發(fā)展提供重要推力。根據(jù)麥肯錫報告的預測，人機交互技術作為眾多影響人類生活和全球經(jīng)濟發(fā)展的顛覆技術的基礎，將在2025年對全球經(jīng)濟產(chǎn)生13.3-28.2萬億美元的影響。依照中國經(jīng)濟屆時占世界經(jīng)濟的五分之一估計（保守估計），人機交互技術對我國經(jīng)濟的直接或間接的影響或?qū)⑦_到2.6-5.6萬億美元。本項目的開展將為下一代人機交互技術的發(fā)展提供技術保障。

成果亮點：

1.具有自主知識產(chǎn)權，研究成果已發(fā)表高水平論文10余篇，代表性論文有：

陶建華,楊明浩,王志良,班曉娟,解侖,汪云海,曾瓊,王飛,王紅遷,劉斌,韓志帥,潘航,陳文拯.無菌條件非接觸式多通道自然交互手術環(huán)境[J]. 軟件學報, 2019, 30(10): 2986-3004.

張雅斕, 班曉娟, 徐衍睿, 等. 面向非牛頓流體仿真的邊界處理方法[J]. 計算機輔助設計與圖形學學報, 2019, 31(8): 1341-1349.

沈晴,班曉娟,常征,郭靖.基于視頻的人機交互中動作在線發(fā)現(xiàn)與時域分割[J].計算機學報, 2015, 38 (12): 2477-2487.

Zhang Y, Ban X, Du F, et al.FluidsNet: End-to-end learning for Lagrangian fluid simulation [J]. Expert Systems with Applications, 2020: 113410.

Wang X, Liu S, Ban X, et al.Recovering Turbulence Details using Velocity Correction for SPHFluids[M]//SIGGRAPH Asia 2019. 2019: 95-98.

2. 成果來源：

國家重點研發(fā)計劃(2016YFB1001404)，國家自然科學基金(No.61572075 No.61702036),海南省重點研發(fā)計劃(No. ZDYF2020031)等。

3. 技術先進性：

國際先進基于語音和手勢交互技術，搭建一個模擬展示環(huán)境，創(chuàng)建一個能夠展示醫(yī)學影像資料的系統(tǒng)。建立手勢-指令對照表，能夠通過手勢控制系統(tǒng)圖片的前進、后退、放大、縮小等操作；同時支持語音識別結果轉化為指令，對系統(tǒng)進行快捷操作。搭建了人機交互計算機智能輔助無菌手術室的第一版原型系統(tǒng)，實現(xiàn)了基于語音和手勢的醫(yī)療手術環(huán)境下的醫(yī)療處理界面自然交互操作。

團隊簡介：

北京科技大學人工智能與三維可視化實驗室目前有教師6人（其中教授1人，副教授1人，講師4人）。負責人班曉娟教授（博導）獲得教育部新世紀優(yōu)秀人才榮譽稱號，任中國人工智能學會常務理事及智慧醫(yī)療專業(yè)委員會主任，中國計算機學會人機交互專業(yè)委員會常務委員。近年在Nature子刊，計算機學會推薦的A類頂級國際會議CHI、VR、SIGGRAPH等發(fā)表圖像處理和流體模擬相關文章多篇。團隊致力于計算機視覺以及圖形學等領域的應用研究。主持國家級項目10余項，省部級及橫向企業(yè)項目20余項，發(fā)表學術論文300余篇，發(fā)明專利10余項，軟件著作權20余項，獲省部級以上科研教學獎勵4項。

成果相關照片：

圖1加速部件放置于計算機上

圖2多模態(tài)數(shù)據(jù)協(xié)同處理專用加速計算部件結構

圖3面向孔源性視網(wǎng)膜脫離的硅油填充計算機輔助模擬分析技術

圖4無菌非接觸式智能手術室方案及設備連接圖

聯(lián)系方式：

北京科大科技園

010-62333830,62335841,62335665,62333626